Rainer Weiss sinh ngày 29 tháng 9 năm 1932 tại Berlin, Đức.[5] Để tránh khỏi cuộc khủng hoảng kinh tế, gia đình ông ban đầu chuyển đến Praha vào cuối năm 1932, và sau đó đến Hoa Kỳ vào năm 1938; thời niên thiếu ông ở thành phố New York, nơi ông học trường tiểu học Columbia. Ông học đại học tại MIT, nhận bằng cử nhân vật lý năm 1955 và bằng tiến sĩ năm 1962 dưới sự hướng dẫn của Jerrold Zacharias tại đây. Ông giảng dạy tại Đại học Tufts trong các năm 1960–62, là người nghiên cứu hậu tiến sĩ tại Đại học Princeton giai đoạn 1962–64, và sau đó được nhận vào MIT năm 1964.[5]